Multi-timescale Trajectory Prediction for Abnormal Human Activity Detection

发表于 | 分类于
字数统计: 579字 | 阅读时长 ≈ 2 分钟

Multi-timescale Trajectory Prediction for Abnormal Human Activity Detection

会议： WACV 2020
论文：https://arxiv.org/abs/1908.04321
代码：https://github.com/Rodrigues-Royston/Multi-timescale-Trajectory-Prediction-for-Abnormal-Human-Activity-Detection

在本文中，提出了一个多时间尺度模型来描述不同时间尺度下的姿态。特别是，对于给定的输入姿态轨迹，该模型在不同的时间尺度上对未来和过去进行预测。还创建了一个包含各种异常活动的大型单摄像机数据集。与其他数据集不同在于该数据集包含一系列人类异常情况包括单人、多人和群体异常活动。

img

解决的问题

通常的异常检测方法都是基于单个视频帧或者一个滑动窗口的视频帧。但是人的不同行为持续的时长是不同的。比如蹦跳是个短时间的异常行为而游荡却是一个持续时间很长的异常。单帧或者固定窗口的方法不足以捕获不同持续时间内发生的各种异常。

模型

它有两个模型，分别预测过去和未来。在特定的时间尺度上，结合两个模型的预测在每个时刻生成预测。

两个模型是等同的但是是分开训练的，对过去的预测的模型输入是逆向的姿态轨迹。

img

Encoder由2个全连接层组成，将长度为50的姿态向量(25个关节点的x,y坐标)转换到长度为1024的向量。

之后这些编码向量通过不同尺度的一维卷积滤波器，之后训练Decoder来预测未来的序列，不同时间尺度的Decoder由长度为1024和对应尺寸*50的两个全连接层组成,使用Relu作为激活函数。
img

IITB-Corridor数据集

创建了用于异常人类活动的印度理工学院走廊数据集。这些视频是在印度理工学院孟买校区用单摄像机拍摄的。场景由一条走廊组成，正常活动通常是步行和站立。该数据集包含各种活动，并且具有单个人员到群体级别的异常。正常和异常的注释在帧级别提供。

img

实验

img